第6章 固有表現認識
#大規模言語モデル入門
https://github.com/ghmagazine/llm-book/blob/f84ee759a10bff62c0c3fcff85b471ab46762e6c/chapter6/6-named-entity-recognition.ipynb
6.1 固有表現認識とは
依存パッケージ
#huggingface/datasets
#transformers
#spacy-alignments
#seqeval
データセット（第6章 固有表現認識）
前処理（第6章 固有表現認識）
評価指標（第6章 固有表現認識）
実装（6.3）
ファインチューニング（Colabで5エポック）
エポックごとに保存したモデルの中から検証セットを使ったモデル選定
エラー分析
ラベル間の遷移可能性を考慮する
人手で遷移スコアを定義
BERT-CRF（遷移スコアを自動で学習）
pytorch-crf
アノテーションツール：
Label Studio